Implementation, adaptation, combination and evaluation of Brazilian portuguese taggers

A etiquetagem morfossintática é uma tarefa básica, bem conhecida e bastante explorada em diversas aplicações de Processamento de Línguas Naturais (PLN), como análise sintática e extração e recuperação de informações. Os etiquetadores para a língua inglesa atingiram um estado da arte entre 96-99% de precisão geral. Diferentemente do inglês, para o português do Brasil não foram ainda exploradas todas as técnicas para a etiquetagem, nem se atingiu a precisão dos melhores etiquetadores para a língua inglesa. Com estas motivações, quatro etiquetadores disponíveis na WWW foram treinados Unigrama (TreeTagger), Trigrama (TreeTagger), baseado em transformações (TBL) e baseado em máxima entropia (MXPOST) , e um etiquetador simbólico foi desenvolvido (PoSiTagger). Todos os etiquetadores adaptados foram treinados com um corpus com cerca de 100.000 palavras formado por textos didáticos, jornalísticos e literários, e etiquetado com o Nilc tagset. A maior precisão geral obtida foi a do MXPOST 89,66%. Foram também implementados quatorze métodos para a combinação dos etiquetadores, dos quais sete superaram a precisão do MXPOST. A maior precisão obtida com os métodos de combinação foi 90,91%. A precisão geral sofreu a influência do tamanho do corpus manualmente etiquetado disponível para treinamento, do conjunto de etiquetas e dos tipos de texto utilizados.POS tagging is a very basic and well known natural language processing task used in several applications such as parsing and information retrieval. lhe taggers for English achieved a state of the art accuracy of 96-99%. Unlike the case of English, only some approaches to tagging were explored for Brazilian Portuguese and the tagging systems available are still unsatisfactory from the point of view of results based on the state-of-the-art accuracy for English. Four taggers have been trained with the NILC tagset on a mixed 100,000-word corpus of Brazilian Portuguese, namely Unigram (Treetagger), N-gram (Treetagger), transformation-based (TBL) and Maximum-Entropy tagging (MXPOST), and a symbolic tagger, named PoSiTagger, was designed. MXPOST displayed the best accuracy (89.66%). Fourteen methods of combination were used, seven of which IS to an improvement over the MXPOST accuracy. lhe best result from the combination strategy was 90,91%. lhe low accuracy is attributed to the reduced sue of the training corpus, the tagset used and the mixed corpus employed

Implementation, adaptation, combination and evaluation of Brazilian portuguese taggers

A etiquetagem morfossintática é uma tarefa básica, bem conhecida e bastante explorada em diversas aplicações de Processamento de Línguas Naturais (PLN), como análise sintática e extração e recuperação de informações. Os etiquetadores para a língua inglesa atingiram um estado da arte entre 96-99% de precisão geral. Diferentemente do inglês, para o português do Brasil não foram ainda exploradas todas as técnicas para a etiquetagem, nem se atingiu a precisão dos melhores etiquetadores para a língua inglesa. Com estas motivações, quatro etiquetadores disponíveis na WWW foram treinados Unigrama (TreeTagger), Trigrama (TreeTagger), baseado em transformações (TBL) e baseado em máxima entropia (MXPOST) , e um etiquetador simbólico foi desenvolvido (PoSiTagger). Todos os etiquetadores adaptados foram treinados com um corpus com cerca de 100.000 palavras formado por textos didáticos, jornalísticos e literários, e etiquetado com o Nilc tagset. A maior precisão geral obtida foi a do MXPOST 89,66%. Foram também implementados quatorze métodos para a combinação dos etiquetadores, dos quais sete superaram a precisão do MXPOST. A maior precisão obtida com os métodos de combinação foi 90,91%. A precisão geral sofreu a influência do tamanho do corpus manualmente etiquetado disponível para treinamento, do conjunto de etiquetas e dos tipos de texto utilizados.POS tagging is a very basic and well known natural language processing task used in several applications such as parsing and information retrieval. lhe taggers for English achieved a state of the art accuracy of 96-99%. Unlike the case of English, only some approaches to tagging were explored for Brazilian Portuguese and the tagging systems available are still unsatisfactory from the point of view of results based on the state-of-the-art accuracy for English. Four taggers have been trained with the NILC tagset on a mixed 100,000-word corpus of Brazilian Portuguese, namely Unigram (Treetagger), N-gram (Treetagger), transformation-based (TBL) and Maximum-Entropy tagging (MXPOST), and a symbolic tagger, named PoSiTagger, was designed. MXPOST displayed the best accuracy (89.66%). Fourteen methods of combination were used, seven of which IS to an improvement over the MXPOST accuracy. lhe best result from the combination strategy was 90,91%. lhe low accuracy is attributed to the reduced sue of the training corpus, the tagset used and the mixed corpus employed

Using style markers in Portuguese Web Searching.

Como lidar com o excesso de informação ao qual usuários são submetidos em suas buscas na Web? São muitas as páginas sobre um mesmo assunto, por isso uma solução pode ser separá-las segundo os objetivos dos escritores. Melhor ainda seria separá-las segundo os objetivos dos leitores, tão diversos como buscar um programa, aprender sobre uma matéria ou saber as últimas notícias sobre um dado assunto. Esse é o objetivo desta tese. Ir além do conteúdo dos textos para minimizar o esforço do usuário em encontrar os documentos que são relevantes para sua consulta em um dado instante de busca. Investigou-se pela primeira vez a hipótese de que é tecnicamente possível e de fácil compreensão a classificação resultados de busca segundo os seus objetivos. Para isso estudou-se a classificação automática dos resultados de buscas na Web em português segundo a intenção da busca. Foram aplicados algoritmos de aprendizado de máquina sobre características linguísticas relacionadas com o estilo de documentos em português, e desenvolvidos estudos com usuários para avaliar na prática os classificadores criados. Foi também investigada a possibilidade de desenvolver classificadores personalizados que.dentro de um determinado assunto, separassem páginas interessantes de outras irrelevantes, com base em pequenos corpora de treinamento. Para a avaliação, foram utilizadas tanto as avaliações de sistema como as centradas no usuário. Os resultados mostram que (i) a classificação em necessidades é um conceito compreendido pelos usuários, (li) o uso de marcadores estilísticos é um caminho barato e eficiente a ser investigado para obter classificadores confiáveis, (iii) o treinamento com pequenos corpora da Web é capaz de gerar classificadores confiáveis, e (iv) a busca pode ser facilitada por resultados classificados segundo necessidades de busca.How should one cope with information overtlow. when there are too many pages on the Web aboul almost every subject? This thesis addresses the problem of information overtlow users taco when dealing with Web search results. To go beyond content it is proposed to classifv pages according to the seareli goals they sorve from a user point of view: to download a system learn some subject or find news about another are quite different user goals. The hypothesis validated in the present dissertation is that it is both technically feasible and understandble to classifv Web pages according to user goal. By using machine learning teehniques over linguistically inspired features. automatic classifiers were built to distinguish among user needs. Also. several user studies were conducted to assess the understandability of the concepts at stake and the gain achieved by using the particular classification in the displav of the results. In addition. this work also tested personalized binarv classifiers about specilfic subjects. traíned in small traming corpora supplied by the users themselves. With regard to evaluation. both system evaluation and user-centered evaluation were performed. The results show that (i) the user needs classification is understood by the user. (ii) the use of style markers are a reliable path to be investigated (iii) traimng on small Web corpora is able to generate reliable classifiers. and ( iv ) search can be eased by classifying scarch results according to user needs

Como incrementar a qualidade dos resultados das máquinas de busca: da análise de logs à interação em português

Com o intuito de avaliar a submissão de consultas em língua natural, especificamente em português, a máquinas de busca na Web, e contrastar com as consultas por palavras-chave, realizou-se um experimento com alunos, professores e funcionários de uma universidade brasileira. Particularmente, analisaram-se as consultas para verificar se os usuários expressavam bem seus objetivos em palavras-chave; como expressariam seus objetivos em língua natural, caso esta possibilidade fosse oferecida; se as consultas em língua natural forneciam informações que pudessem facilitar a recuperação de informação. O pedido de colaboração foi enviado a 440 pessoas de um instituto de computação da universidade. Foram obtidas 63 consultas, correspondentes a 42 objetivos. Observou-se que, para o item a, na maioria dos casos (71,43%), as consultas por meio de palavras-chave não trazem todas as informações declaradas importantes no objetivo; para o item b as consultas foram feitas por meio de perguntas (71,87%), afirmações (18,75%) e ordens (9,37%); e, para o item c todas as perguntas diretas deixavam claro o objetivo da consulta já com a primeira palavra da frase, ou com as duas ou três primeiras, com exceção das iniciadas pela palavra "qual"